Ngày 19 tháng 5 năm 1995, Trần Văn Sơn gia nhập Đảng Cộng sản Việt Nam.

Ông có bằng Cao cấp lí luận chính trị.

Tháng 10 năm 2015 tại Đại hội Đảng bộ tỉnh Điện Biên khóa XIII nhiệm kỳ 2015-2020, Trần Văn Sơn được bầu giữ chức Bí thư Tỉnh ủy. Trước đó ông Sơn đã đảm nhiệm các chức vụ: Thứ trưởng Bộ Xây dựng, Phó Bí thư Thường trực Tỉnh ủy Điện Biên.[2]

Ngày 26 tháng 01 năm 2016, tại Đại hội đại biểu toàn quốc lần thứ XII của Đảng Cộng sản Việt Nam, ông được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XII, nhiệm kỳ 2016 – 2021.

Ngày 22 tháng 5 năm 2016, Trần Văn Sơn trúng cử Đại biểu Quốc hội Việt Nam khóa 14 nhiệm kì 2016-2021 tại đơn vị bầu cử tỉnh Điện Biên.

Sau đó ông được bầu làm Trưởng đoàn Đại biểu Quốc hội Việt Nam khóa 14 tỉnh Điện Biên và Ủy viên Ủy ban Tài chính-Ngân sách của Quốc hội khóa 14.

Ngày 5 tháng 10 năm 2020, Tại Quyết định số 1519/QĐ-TTg, Thủ tướng Chính phủ điều động, bổ nhiệm ông Trần Văn Sơn, Ủy viên Trung ương Đảng, Bí thư Tỉnh ủy, Trưởng Đoàn đại biểu Quốc hội khóa XIV tỉnh Điện Biên, giữ chức Phó Chủ nhiệm Văn phòng Chính phủ.

Ngày 11 tháng 12 năm 2020, Thủ tướng Nguyễn Xuân Phúc vừa ký quyết định điều chỉnh thành viên Ban Chỉ đạo Đổi mới và Phát triển doanh nghiệp. Theo đó, ông Trần Văn Sơn, Phó Chủ nhiệm Thường trực Văn phòng Chính phủ thay bà Mai Thị Thu Vân, giữ chức Phó Trưởng ban Thường trực Ban Chỉ đạo Đổi mới và Phát triển doanh nghiệp.

Ngày 13 tháng 12 năm 2020, Đảng ủy Văn phòng Chính phủ tổ chức Hội nghị công bố Quyết định của Đảng ủy Khối các cơ quan Trung ương về việc chỉ định Bí thư Đảng ủy Văn phòng Chính phủ nhiệm kỳ 2020-2025 đối với ông Trần Văn Sơn, Ủy viên Trung ương Đảng, Phó Chủ nhiệm Thường trực Văn phòng Chính phủ.

Ngày 30 tháng 01 năm 2021, tại Đại hội Đại biểu toàn quốc Đảng Cộng sản Việt Nam khóa XIII, ông được bầu làm Ủy viên chính thức Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá XIII.

Sáng ngày 8 tháng 4 năm 2021, tại kỳ họp thứ 11 ông được Quốc hội Việt Nam khóa XIV bầu làm Bộ trưởng, Chủ nhiệm Văn phòng Chính phủ nhiệm kỳ 2016 - 2021 theo đề nghị của Thủ tướng Phạm Minh Chính.

Ngày 4 tháng 6 năm 2021, Thủ tướng Chính phủ Phạm Minh Chính ký Quyết định số 855/QĐ-TTg, bổ nhiệm ông làm Ủy viên Hội đồng Thi đua - Khen thưởng Trung ương.